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(57) Abstract: The invention relates to a method for the transmission of audio signals between a transmitter and at least one re- 
ceiver according to the prioritizing pixel transmission method. The audio signal is initially broken down into a number of spectral 
fractions. The broken down audio signal is stored in a two-dimensional array with a plurality of fields, frequency and time being the 
dimensions and amplitude being the value to be registered in the field. Groups are then formed from said individual fields and a pri- 
ority is assigned to the individual groups, wherein the higher the amplitudes of the group values are and/or the higher the amplitude 
differences of the values of one group are and/or the closer the groups are to the actual time, the priority of a group will be higher. 


Finally, the groups are transmitted to the receiver according to their order of priority. 
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(57) Zusammenfassung: Die Erfindung betrifft ein Verfahren zur Ubertragung von Audiosignalen zwischen einem Sender und 
mindestens einem Empfanger nach dem Verfahren der priorisierenden Pixelubertragung. Zunachst wird das Audiosignal in eine 
Anzahl n von spektralen Anteilen zerlegt. Das zerlegte Audiosignals wird in einem zweidimensionalen Array mit einer Vielzahl 
von Feldern gespeichert, mit Frequenz und Zeit als Dimensionen und der Amplitude als jeweils einzutragenden Wert im Feld. Dann 
werden aus jedem einzelnen Feld und mindestens zwei zu diesem Feld benachbarten Feldern des Arrays Gruppen gebildet, und den 
einzelnen Gruppen eine Prioritat zugeordnet, wobei die Prioritat einer Gruppe umso groBer gewahlt wird, je groBer die Amplituden 
der Gruppenwerte sind und/oder je groBer die Amplitudenunterschiede der Werte einer Gruppe sind und/oder je naher die Gruppe 
an der aktuellen Zeit liegt. SchlieBlich werden die Gruppen in der Reihenfolge ihrer Prioritat an den Empfanger ubertragen. 
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VERFAHREN ZUR IBERTRAGUNG VON AUD I OS IGNALEN NACH DEM VERFAHREN DER 
PRIORI S I ERENDEN PIXEL I BERTRAGUNG 


Die Erfindung betrifft ein Verfahren zur Obertragung von Audiosignalen nach dem 
Verfahren der priorisierenden Pixelubertragung nach dem Oberbegriff des 
Patentanspruchs 1 . 

Zur Zeit existiert eine Vielzahl verschiedener Verfahren zur komprimierten 
Obertragung von Audiosignalen. Im wesentlichen existieren folgende Verfahren. 

Reduzierung der Abtastrate, z.B. 3 kHz anstelle von 44 kHz 
Nichtlineare Obertragung der Abtastwerte, z.B. bei ISDN Obertragung 
Benutzung von vorher abgespeicherten Akustiksequenzen, z.B. MIDI oder 
Stimmnachbildung 

Verwendung von Markov Modellen zur Korrektur von Ubertragungsfehlem 

Die Gemeinsamkeiten der bekannten Verfahren liegen darin, dass auch bei 
niedrigeren Obertragungsraten eine bef riedigende Sprachverstandlichkeit vorhanden 
ist. Dieses wird im wesentlichen durch Mittelwertbildungen erreicht. Jedoch ergeben 
unterschiediiche Stimmen der Quelle ahniich klingende Stimmen in der Senke, so 
dass z.B. Stimmungsschwankungen, die in einem normalen Gesprach erkennbar 
sind, nicht mehr ubertragen werden. Dadurch ergibt sich eine deutliche 
Einschrankung in der Kommunikationsqualitat. 

Verfahren zur Komprimierung und Dekomprimierung von Bild- oder Videodaten 
mittels priorisierter Pixelubertragung sind in den deutschen Patentanmeldungen DE 
101 13 880.6 (entspricht PCT/DE02/00987) und DE 101 52 612.1 (entspricht 
PCT/DE02/00995) beschrieben. Bei diesen Verfahren werden z.B. digitale Bild- oder 
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Videodaten bearbe'rtet, die aus einem Array einzelner Bildpunkte (Pixel) 
bestehen, wobei jedes Pixel einen sich zeitlich verandemden Pixelwert aufweist, 
der Farb- oder Helligkeitsinformation des Pixels beschreibt. ErfindungsgemaB 
wird jedem Pixel bzw. jeder Pixelgruppe eine Prioritat zugeordnet und die Pixel 
entsprechend ihrer Priorisierung in einem Prioritaten array abgelegt. Dieses 
Array enthalt zu jedem Zeitpunkt, die nach der Priorisierung sortierten 
Pixelwerte. Entsprechend der Priorisierung werden diese Pixel, und die fur die 
Berechnung der Priorisierung benutzten Pixelwerte, Qbertragen bzw. 
abgespeichert. Ein Pixel bekommt eine hohe Prioritat, wenn die Unterschiede zu 
seinen benachbarten Pixel sehr groB sind. Zur Rekonstruktion werden die 
jeweils aktuellen Pixelwerte auf dem Display dargestellt. Die noch nicht 
ubertragenden Pixel werden aus den schon ubertragenden Pixel berechnet. 
Diese Verfahren lassen sich prinzipiell auch fur eine Obertragung von Audiosignalen 
verwenden. 

Die Aufgabe der Erfindung besteht deshalb darin, ein Verfahren zur Obertragung von 
Audiosignalen anzugeben, das auch bei niedrigen Obertragungsbandbreiten 
mdglichst verlustfrei arbeitet. 

Diese Aufgabe wird erfindungsgemaB durch die Merkmale des Patentanspruchs 1 
gelost. 

GemaB der Erfindung wird das Audiosignal zunachst in eine Anzahl n von spektralen 
Anteilen zerlegt. Das zerlegte Audiosignals wird in einem zweidimensionalen Array 
mit einer Vielzahl von Feldem gespeichert, mit Frequenz und Zeit als Dimensionen 
und der Amplitude als jeweils einzutragenden Wert im Feld. Dann werden aus jedem 
einzelnen Feld und mindestens zwei zu diesem Feld benachbarten Feldem des 
Arrays Gruppen gebildet, und den einzelnen Gruppen eine Prioritat zugeordnet, 
wobei die Prioritat einer Gruppe umso groBer gewahlt wird, je groBer die Amplituden 
der Gruppenwerte sind und/oder je groBer die Amplitudenunterschiede der Werte 
einer Gruppe sind und/oder je naher die Gruppe an der aktuellen Zeit liegt. 
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SchlieBlich werden die Gruppen in der Reihenfolge ihrer Prioritat an den Empfanger 
ubertragen. 

Das neue Verfahren beruht Im wesentlichen auf den Grundlagen von Shannon. 
Demnach lassen sich Signale verlustfrei ubertragen, wenn man sie mit der doppelten 
Frequenz abtastet. Das bedeutet, dass der Schall in einzelne Sinusschwingung 
unterschiedlicher Amplitude und Frequenz zerlegbar ist. Demnach lassen sich 
akustische Signale eindeutig durch Ubertragung der einzelnen Frequenzanteile, 
inklusive der Amplituden und Phasen, ohne Verluste wieder herstellen. Hierbei wird 
auch insbesondere ausgenutzt, dass die haufig vorkommenden Schallquellen, z.B. 
Musikinstrumente, menschliche Stimme, aus Resonanzkorpern bestehen, deren 
Resonanzfrequenz sich nicht bzw. nur langsam andert. 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den 
abhangigen Patentanspriichen angegeben. 

Ein Ausfuhrungsbeispiel der Erfindung wird nachfolgen beschrieben. Hierbei sei 
insbesondere auch auf die Beschreibung und die Zeichnungen der alteren 
Patentanmeldungen DE 101 13 880.6 und DE 101 52 612.1 Bezug genommen. 

Zunachst wird der Schall aufgenommen, in elektrische Signale umgewandelt und in 
seine Frequenzanteile zerlegt. Dieses kann entweder durch FFT (Fast-Fourier 
Transformation) oder durch n-einzelne frequenzselektierende Filter geschehen. 
Werden n-einzelne Filter verwendet, so nimmt jeder Filter nur eine einzelne 
Frequenz, bzw. ein schmales Frequenzband, auf (ahnlich den Harchen im 
menschlichen Ohr). Somit hat man zu jedem Zeitpunkt die Frequenz, und den 
Amplitudenwert bei dieser Frequenz. Dabei kann die Zahl n entsprechend der 
Endgerateeigenschaften unterschiedliche Werte annehmen Je groBer n ist, desto 
besser kann das Audiosignal reproduziert werden. Somit ist n ein Parameter mit dem 
die Qualitat der Audioiibertragung skaliert werden kann. 
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Die Amplitudenwerte werden in den Feldern eines 2-dimensonalen Arrays 
zwischengespeichert. 

Dabei entspricht die erste Dimension des Arrays der Zeitachse und die zweite 
Dimension der Frequenz. Damit ist jeder Abtastwert mit jeweiliger Amplitudenwert 
und Phase eindeutig bestimmt und kann im zugeordneten Feld des Arrays als 
Imaginare Zahl abgespeichert werden. Das Sprachsignal wird somit in drei 
akustischen Dimensionen (Parametem) im Array dargestellt: Die Zeit z.B. in 
Millisekunden (ms), perzeptiv als Dauer wahrgenommen, als die erste Dimension des 
Arrays, die Frequenz in Hertz (Hz), perzeptiv als Tonhohe wahrgenommen, als die 
zweite Dimension des Arrays und die Energie (bzw. Intensitat) des Signals, perzeptiv 
als Lautstarke bzw. Intensitat wahrgenommen, welche als Zahlenwert im 
entsprechenden Feld des Arrays gespeichert wird. 

Im Vergleich zu den Anmeldungen DE 101 13 880.6 und DE 101 52 612.1 entspricht 
z.B. die Frequenz der Bildhdhe, die Zeit der Bildbreite und die Amplitude des 
Audiosignals (Intensitat) dem Farbwert. 

Ahnlich dem Verfahren der Priorisierung von Pixelgruppen bei der 
BildA/ideokodierung werden aus benachbarten Werten Gruppen gebildet und diese 
priorisiert. Jedes Feld fur sich betrachtet bildet zusammen mit mindestens einem, 
vorzugsweise jedoch mehreren benachbarten Feldern eine Gruppe. Die Gruppen 
bestehen aus dem Positionswert, definiert durch Zeit und Frequenz, dem 
Amplitudenwert am Positionswert, und die Amplitudenwerte der umliegenden Werte 
entsprechend einer vomer festgelegten Form (siehe Figur 2 der Anmeldungen DE 
101 13 880.6 und DE 101 52 612.1). Dabei bekommen insbesondere diejenigen 
Gruppen eine sehr hohe Prioritat, die nahe der aktuellen Zeit liegen, und/oder deren 
Amplitudenwerte im Vergleich zu den anderen Gruppen sehr groB sind und/oder bei 
denen sich die Amplitudenwerte innerhalb der Gruppe stark voneinander 
unterscheiden. Die Pixelgruppenwerte werden absteigend sortiert und in dieser 
Reihenfolge gespeichert bzw. ubertragen. 

Die Breite des Arrays (Zeitachse) besitzt vorzugsweise nur eine begrenzte 
Ausdehnung (z.B. 5 Sekunden), d.h. es werden immer nur Signalabschnitte von z.B. 
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5 Sekunden Lange verarbeitet. Nach dieser Zeit (z.B. 5 Sekunden) wird das Array 
mit den Werten des nachfolgenden Signalabschnitts gefullt. 

Entsprechend der oben beschriebenen Priorisierungsparameter (Amplitude, zeitnahe 
Position und Amplitudenunterschiede zu benachbarten Werten) werden die Werte 
der einzelnen Gruppen im Empfanger empfangen. 

Beim Empfanger werden die Gruppen wieder in ein entsprechendes Array 
eingetragen. Entsprechend der Patentanmeidungen DE 101 13 880.6 und DE 101 52 
612.1 kann dann aus den ubertragenden Gruppen wieder die dreidimensionale 
Spektraldarstellung erzeugt werden. Je mehr Gruppen empfangen wurden, umso 
genauer wird die Rekonstruktion. Die noch nicht ubertragenen Arraywerte werden 
mittels Interpolation aus den schon ubertragenden Arraywerten berechnet. Aus dem 
so erzeugten Array wird dann im Empfanger ein entsprechendes Audiosignal 
generiert, welches dann in Schall umgewandelt werden kann. 
Zur Synthese des Audiosignals konnen z.B. n Frequenzgeneratoren verwenden 
werden, deren Signale zu einem Ausgangssignal addiert werden. Durch diesen 
parallelen Aufbau von n Generatoren ist eine gute Skalierbarkeit gegeben. Zudem 
kann die Taktrate durch parallele Verarbeitung drastisch reduziert werden, so das 
durch ein geringeren Energieverbrauch die Wiedergabezeit bei mobilen Endgeraten 
erhoht wird. Fur den parallelen Einsatz konnten z.B. FPGA's oder ASIC's einfacher 
Bauart benutzt werden. 

Das beschriebene Verfahren ist nicht auf Audiosignale beschrankt. Das Verfahren 
kann insbesondere uberall dort effektiv zur Anwendung kommen, wo mehrere 
Sensoren (Schallsensoren, Lichtsensoren, Tastsensoren, usw.) verwendet werden, 
die kontinuierlich Signale messen, die dann in einem Array (n-ter Ordnung) 
dargestellt werden konnen. 

Die Vorteile gegenuber bisherigen Systemen liegen in der f lexiblen Einsetzbarkeit bei 
erhohten Kompressionsraten. Durch Benutzung eines Arrays, welches aus 
unterschiedlichen Quellen gespeist wird, erhalt man automatisch eine 
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Synchronisation der unterschiedlichen Quellen. Eine entsprechende Synchronisation 
muss bei herkommlichen Verfahren durch besondere Protokolle, bzw. MaBnahmen 
gesichert werden. Insbesondere bei Videoubertragung mit groBen Laufzeiten, z.B. 
Satellitenverbindungen, wo Ton und Bild uber verschiedene Kanale ubertragen 
werden, fallt haufig eine fehlende Synchronisation der Lippen zu der Sprache auf. So 
etwas kann durch das beschriebene Verfahren beseitigt werden 


Da das gleiche Grundprinzip der priorisierenden Pixelgruppenubertragung sowohl bei 
Sprache, Bild und Videoubertragung genutzt werden kann, ist ein starker 
Synergieeffekt bei der Implementierung nutzbar. AuBerdem kann auf diese Weise 
eine einfache Synchronisation zwischen Sprache und Bildern erfolgen. AuBerdem 
konnte beliebig zwischen Bild- und Audioauflosung skaiiert werden. 

Betrachtet man eine einzelne Audioubertragung nach dem neuen Verfahren, so 
ergibt sich bei Sprache eine naturlichere Wiedergabe, da die fur jeden Menschen 
typischen Frequenzanteile (-gruppen) mit hochster Prioritat und damit verlustfrei 
ubertragen werden. 
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Patentanspruche 

1 . Verfahren zur Ubertragung von Audiosignalen zwischen einem Sender und 
mindestens einem Empfanger nach dem Verfahren der priorisierenden 
PixelGbertragung, 

gekennzeichnet durch die Schritte: 

a) Zeriegen des Audiosignals in eine Anzahl n von spektralen Anteilen, 

b) Speichern des zerlegten Audiosignals in einem zweidimensionalen Array mit 
einer Vielzahl von Feldem, mit Frequenz und Zeit als Dimensionen und der 
Amplitude als jeweils einzutragenden Wert im Feld, 

c) Bilden von Gruppen aus jedem einzelnen Feld und mindestens zwei zu 
diesem Feld benachbarten Feldern des Arrays, 

d) Zuordnen einer Prioritat zu den einzelnen Gruppen, wobei die Prioritat einer 
Gruppe umso groBer wird, je groBer die Amplituden der Gruppenwerte sind 
und/oder je groBer die Amplitudenunterschiede der Werte einer Gruppe sind 
und/oder je naher die Gruppe an der aktuellen Zeit liegt, und 

e) Ubertragen der Gruppen in der Reihenfolge ihrer Prioritat an den Empfanger. 

2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das gesamte 
Audiosignal als Audiodatei vorliegt und als Ganzes bearbeitet und ubertragen 


3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass nur jeweils ein Teil 
des Audiosignals bearbeitet und ubertragen wird. 


wird. 


4. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, dass das 
Audiosignal mittels FFT in seine spektralen Anteile zerlegt wird. 
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5. Verfahren nach einem der Anspruche 1 bis 3, dadurch gekennzeichnet, dass das 
Audiosignal durch eine Anzahl n von frequenzselektierenden Filtern in seine 
spektralen Anteile zerlegt wird. 


6. Verfahren nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, dass im 
Empfanger die nach ihrer Prioritat ubertragenen Gruppen einem entsprechenden 
Array zugeordnet, wobei die noch nicht ubertragenen Werte des Arrays aus den 
bereits vorhandenen Werten durch Interpolation berechnet werden. 

7. Verfahren nach einem der Anspruche 1 bis 6, dadurch gekennzeichnet, dass aus 
den im Empfanger vorliegenden und berechneten Werten ein elektrisches Signal 
generiert und in ein Audiosignal umgewandelt wird. 
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